IT技術ブログブログ村 トップ

最近、あちこちに出てきた、Anthtropicの"On the Biology of a Large Language Model"が気になった。紹介としては、MIT Technology Reviewの"大規模言語モデルは内部で 何をやっているのか？ 覗いて分かった奇妙な回路(有料記事)“がある。しかし、有料記事であり私も、中身を見ていない。そのため、この記事のベースであろう、原著論文を辿った。 その結果、以下のことが示唆されるようだ。 多段階推論: Claude 3.5 Haikuが、例えば「ダラスを含む州の州都は？」という質問に対して、「テキサス」という中間的な概念を内部で特定し、「オースティン」という最終的な答えを導き出すといった**「二段階」の推論**を実際に行っていることが示されました。アトリビューショングラフによって、この内部ステップを視覚的に捉え、操作することも可能です。 詩の作成における計画: モデルが詩の行を書く前に、潜在的な韻を踏む単語を事前に特定し、計画していることが発見されました。これらの事前に選択された韻の候補が、その後の行全体の構成に影響を与えている様子が観察されています。 多言語回路: Claude 3.5 Haikuは、言語固有の回路と、言語に依存しない抽象的な回路の両方を使用していることがわかりました。より小型で能力の低いモデルと比較して、言語に依存しない回路がより顕著であることが示されています。これは、モデルが概念をより普遍的なレベルで理解し、処理する能力が高まっていることを示唆しています。 足し算の一般化: 同じ足し算の回路が、非常に異なる文脈間で一般化されている事例が確認されました。これは、モデルが抽象的な計算能力を獲得していることを示唆しています。 医療診断: モデルが報告された症状に基づいて候補となる診断を内部で特定し、それらを用いて追加の症状に関するフォローアップの質問を生成する様子が示されました。これも、モデルが明示的にステップを書き出すことなく「頭の中で」推論を行っている例です。 エンティティ認識とハルシネーション: モデルが既知のエンティティと未知のエンティティを区別する回路を持つことが明らかになりました。この回路の「誤作動」がハルシネーションの原因となる可能性があることが示唆されています。既知のエンティティに関する質問に対しては、モデルは既知の答えを抑制する

情報商材はサジェスト汚染により売上が低下するリスクが高い。削除対策とブランディング強化で信頼と収益性を取り戻せる。

<p>業務システムの開発とは、日々の業務の効率化や品質向上を実現するためのシステムを開発することです。本記事では、業務システム開発の概要とメリット・デメリット、開発会社の選び方や外注のポイントを解説します。</p>

<p>「受託開発」という言葉にあまり馴染みがなく、「どのような企業に依頼すればいいのか分からない」「進め方の全体像を知りたい」と感じる方も多いのではないでしょうか。本記事では、ソフトウェアの受託開発とは何かをはじめ、メリット・デメリット、費用相場、契約形態、進め方、開発会社の選び方まで、発注者の視点からわかりやすく解説します。</p><p></p>

<p>Web開発とは、インターネット上で動作するWebサイトやWebアプリケーションを構築することです。本記事では、Web開発の基本的な内容から一般的な工程、外注・内製の選び方、システム開発会社を選ぶ際の判断基準まで詳しく解説します。</p>