AIエージェントの性格はソフトウェア開発の生産性とコストにどう影響するか
公開日
開発生産性
ソフトウェア開発の現場において、AIエージェントを組み合わせたマルチエージェントシステムの活用が急速に進んでいます。従来、これらのシステムでは主に「役割」や「ワークフロー」を定義してエージェントの分担を行っていましたが、人間と同様に「アプローチの仕方（性格や感情といった行動特性）」がチーム全体の成果にどのような影響を与えるかは十分に分かっていませんでした。
この課題に対し、カリフォルニア大学の研究チームは、論文「Agents with Feelings? Personality and Emotion in Multi-Agent Software Teams」において、心理学的なアプローチに基づきAIエージェントに性格や感情を付与した場合の影響を検証しました。本記事では、この研究をもとに、エージェントのプロファイル設定が開発のパフォーマンスやリソースコストに与える影響について解説します。
調査の概要：78通りのチーム構成と4つのLLMでエージェントの影響を検証
本研究では、心理学的な理論を取り入れたフレームワークを開発し、AIエージェントに「性格（Big Five）」「一時的な感情」「仕事のスタイル（O*NETに基づく）」を組み合わせたプロファイルを付与しました。そして、以下の2つの主要なソフトウェアエンジニアリングタスクを用いて実験を行いました。
- コード生成タスク：Planner（計画）、Implementer（実装）、Reviewer（レビュー）の3つのエージェントによる協調。
- コードレビュータスク：2つのWriter（レビュー作成）と1つのSupervisor（監督・統合）による協調。
図1：Plannerが計画を作成し、ImplementerとReviewerが合意するまで修正ループを繰り返すプロセス
検証には、Qwen2.5-1.5B、Llama-3.1-8B、Mistral-Small-24B、Qwen2.5-32Bの4つの大規模言語モデル（LLM）を使用し、計659のタスクインスタンスで評価を実施しました。実験で各エージェントに適用されたプロファイル設計の具体的な内訳は以下の通りです。
- 性格プロファイル（Big Five） プログラミング適性との関連が深いとされる「誠実性」「開放性」「外向性」の3つの特性に着目。それぞれに高／低のレベルを割り当てた8パターンに、中立を加えた計9種類の性格プロファイルを用意しました。
- 感情プロファイル 開発の現場やコミュニケーションにおいて観察されやすい感情として、「怒り」「恐れ」「嫌悪」「悲しみ」「幸福」および感情表現のない「中立」の計6種類の感情プロファイルを設定しました。
- 仕事のスタイル（O*NETに基づく） 米国労働省の職業情報ネットワーク（O*NET）を参考に、「革新性」「適応性」「細部への注意」「慎重さ」など、ソフトウェア開発に直結する14種類のワークスタイルを定義し、性格プロファイルに合わせて付与しました。
これらのプロファイルを全エージェントに一律に適用する「共有プロファイル（9性格 × 6感情 ＝ 54構成）」と、エージェントの役割（実装担当、レビュー担当など）ごとに異なる特性を組み合わせる「混合プロファイル（24構成）」を合わせた合計78通りのチーム構成を構築し、比較分析を行いました。
性格と感情の割り当てはコード生成の成功率を最大11ポイント以上変化させる
実験の結果、エージェントに割り当てるプロファイルの違いによって、コード生成タスクの解決率（pass@1）に大きな開きが生じることが分かりました。
最良の共有プロファイル構成と最悪の構成の間では、モデルによって7.1〜11.35パーセントポイントの性能差が確認されました。これは、同じLLMとワークフローを使用しているにもかかわらず、プロンプトに含める「振る舞いの指示」を変えるだけで、解決できるプログラミング課題の数が1割近く変動することを意味しています。
モデル別の具体的な評価数値は以下の表の通りです。
| モデル | 最良構成 | 最悪構成 | 自己申告構成 | 最大性能差 |
|---|---|---|---|---|
| Qwen 1.5B | 11.35% (f-LLL / d-HHH) | 4.26% (a-LLL) | 7.45% (n-NNN) | +7.09% |
| Llama 8B | 19.86% (n-NNN) | 8.51% (d-HLL / s-HLH) | 17.38% (n-HHL) | +11.35% |
| Mistral 24B | 35.82% (h-HHH) | 24.82% (a-HHL) | 31.56% (n-HHN) | +11.00% |
| Qwen 32B | 43.97% (s-HHH) | 35.46% (s-LLL) | 43.26% (n-HHN) | +8.51% |
表1：共有プロファイル設定におけるモデル別のコード生成成功率（Pass@1）の比較
※プロファイル略称の凡例：最初の英小文字は感情（f: 恐怖、d: 嫌悪、a: 怒り、h: 幸福、s: 悲しみ、n: 中立）、続く3文字の英大文字は性格特性（H: High、L: Low、N: 中立。左から誠実性、開放性、外向性）を表します。
どのモデルに対しても一律に効果的な「万能プロファイル」は存在しませんでした。例えば、Qwen 1.5Bでは「恐怖×すべてLow」や「嫌悪×すべてHigh」が良好な成績を示した一方、Llama 8Bでは「中立プロファイル」、Mistral 24Bでは「幸福×すべてHigh」、Qwen 32Bでは「悲しみ×すべてHigh」が最も高い性能を発揮しました。この結果は、プロファイルの有効性が使用するモデルの特性やターゲットとするタスクに依存することを示しています。
「恐怖」や「高い誠実性」は過剰な修正を招きトークン消費を増大させる
統計的な解析により、特定の性格や感情プロファイルは、チーム内の「協調行動」と「APIコスト」に顕著な影響を与えることが明らかになりました。特に「恐怖」の感情や「高い誠実性」を付与されたエージェントは、過剰に慎重な行動をとる傾向が見られました。
分析によると、幸福を付与されたチームと比較して、恐怖を付与されたチームはコードの修正を要求するオッズが3.95倍になりました。また、低い誠実性のプロファイルと比べて、高い誠実性を付与されたチームの修正要求オッズは2.83倍となりました。
これにより、すでにテストを通過して正しく動作しているコードに対しても追加の修正を要求する「過剰修正」が発生しやすくなります。
| プロファイル項目 | 平均修正率（%） | 平均過剰修正率（%） |
|---|---|---|
| 感情：恐怖 | 76.7 | 13.0 |
| 感情：幸福 | 58.7 | 4.3 |
| 性格：高い誠実性 | 74.8 | 11.3 |
| 性格：低い誠実性 | 58.3 | 5.9 |
| 全体平均 | 67.0 | 8.7 |
表2：プロファイルの違いによる修正率および過剰修正率の推移
この過剰な修正ループは、一貫した解決率の向上には寄与しない一方で、モデルの呼び出し回数を増やし、入力・出力されるトークン数を大幅に増加させました。つまり、「慎重すぎるAI」は、開発生産性を改善することなく、クラウドの利用コストだけを押し上げる要因になるリスクがあります。
役割ごとに異なる性格を割り当てる「混合プロファイル」が性能を向上させる
すべて同じプロファイルを適用するチームに対して、エージェントの役割特性（Planner、Implementer、Reviewerなど）に応じて異なるプロファイルを組み合わせる「混合プロファイル」の評価も行われました。
その結果、検証した8つの「モデル×タスク」設定のうち、6つの設定において、最も優秀な混合プロファイルチームが、単一の共有プロファイルにおける最高性能を上回る結果を出しました（向上幅は0.3%〜3.0%）。
これは、タスクを計画するエージェントには創造性を求め、レビューを担当するエージェントには慎重さを求めるなど、人間のチームと同様に「適切な役割分担と多様な視点の組み合わせ」がマルチエージェントシステムの性能を引き出す上で有効であることを示しています。
AIエージェント導入時に考慮すべき設計ポイント
本研究の結果は、実務においてAIエージェントを用いた自動化システムを構築・導入する際に、重要な判断材料を提供します。
- 性能とコストのトレードオフ管理 エージェントに「丁寧さ」や「セキュリティ・バグに対する厳格さ」を求めすぎると、不必要な手戻りが発生し、APIコストが急増します。開発チームやマネージャーは、エージェント間の対話回数に制限を設けたり、過剰な修正を防ぐガードレールを設定したりすることが推奨されます。
- モデルに適したプロファイルの個別評価 あるLLMで上手くいったペルソナ設定が、他のLLMでも同様に機能するとは限りません。開発ツールにAIエージェントを組み込む際は、デフォルトのシステムプロンプトに頼るだけでなく、実際の開発環境で複数の振る舞い設定を評価・最適化するプロセスが必要です。
- 役割に応じたプロファイル特化 すべてのエージェントを同じ「優秀な開発者」のペルソナにするのではなく、Plannerにはアイデア出しに適したワークスタイル、Reviewerには検証に適したワークスタイルを割り当てるなど、役割ごとに設計を分けることが協調をスムーズにするポイントになります。
まとめ
本研究は、LLMを用いたマルチエージェントソフトウェア開発チームにおいて、エージェントに設定する性格や感情のプロファイルが、単なる装飾的なテキストにとどまらないことを示しました。これらは、タスクの成功率だけでなく、修正ループの発生率やAPIトークンコストに直接影響する「重要な制御パラメータ」として機能します。
特に、「恐怖」や「高い誠実性」といった一見すると品質向上に繋がりそうな慎重な振る舞いが、実態としては過剰修正によるコストの肥大化を招きやすいという事実、そして役割ごとに異なるプロファイルを最適化して配置するアプローチの有効性は、今後のエージェント設計における大きな気づきとなります。
自社の開発プロセスにAIエージェントチームを導入・運用する際には、各役割に持たせる「振る舞い」と「リソースコスト」のバランスを評価し、過剰なループを抑制する実用的な設計を目指すことが求められます。
開発生産性やチームビルディングにお困りですか？ 弊社のサービス は、開発チームが抱える課題を解決し、生産性と幸福度を向上させるためのさまざまなソリューションを提供しています。ぜひお気軽にご相談ください！
参考資料：